The past two decades have seen increasingly rapid advances in the field of multi-view representation learning due to it extracting useful information from diverse domains to facilitate the development of multi-view applications. However, the community faces two challenges: i) how to learn robust representations from a large amount of unlabeled data to against noise or incomplete views setting, and ii) how to balance view consistency and complementary for various downstream tasks. To this end, we utilize a deep fusion network to fuse view-specific representations into the view-common representation, extracting high-level semantics for obtaining robust representation. In addition, we employ a clustering task to guide the fusion network to prevent it from leading to trivial solutions. For balancing consistency and complementary, then, we design an asymmetrical contrastive strategy that aligns the view-common representation and each view-specific representation. These modules are incorporated into a unified method known as CLustering-guided cOntrastiVE fusioN (CLOVEN). We quantitatively and qualitatively evaluate the proposed method on five datasets, demonstrating that CLOVEN outperforms 11 competitive multi-view learning methods in clustering and classification. In the incomplete view scenario, our proposed method resists noise interference better than those of our competitors. Furthermore, the visualization analysis shows that CLOVEN can preserve the intrinsic structure of view-specific representation while also improving the compactness of view-commom representation. Our source code will be available soon at https://github.com/guanzhou-ke/cloven.
translated by 谷歌翻译
不受限制的口红到语音综合旨在从无声的面孔视频中产生相应的演讲,而无需限制头部姿势或词汇。当前的作品主要使用序列到序列模型来解决此问题,无论是自动回归体系结构还是基于流动的非自动回忆架构。但是,这些模型遭受了几个缺点:1)而不是直接生成音频,而是使用两阶段的管道,该管道首先生成MEL-SPECTROGRAM,然后从频谱图中重建音频。这会导致繁琐的部署和由于错误传播引起的语音质量的退化; 2)这些模型使用的音频重建算法限制了推理速度和音频质量,而这些模型的神经声码器不可用,因为它们的输出谱图不够准确; 3)自回旋模型具有很高的推理延迟,而基于流的模型具有很高的内存占用:它们在时间和内存使用方面都没有足够的效率。为了解决这些问题,我们提出了FASTLTs,这是一种非自动回调的端到端模型,可以直接从延迟低的不受约束的会话视频中直接合成高质量的语音音频,并且模型大小相对较小。此外,与广泛使用的3D-CNN视觉前端用于唇部运动编码,我们首次为此任务提出了基于变压器的视觉前端。实验表明,与当前的3秒输入序列上的当前自动回归模型相比,我们的模型可实现音频波形的$ 19.76 \ times $加速,并获得了卓越的音频质量。
translated by 谷歌翻译
交通流量的技术预测在智能运输系统中起着重要作用。基于图形神经网络和注意机制,大多数先前的作品都利用变压器结构来发现时空依赖性和动态关系。但是,他们尚未彻底考虑时空序列之间的相关信息。在本文中,基于最大信息系数,我们提出了两种详尽的时空表示,空间相关信息(SCORR)和时间相关信息(TCORR)。使用SCORR,我们提出了一个基于相关信息的时空网络(CORRSTN),该网络包括一个动态图神经网络组件,可有效地将相关信息整合到空间结构中,以及一个多头注意力组件,以准确地对动态时间依赖性进行建模。利用TCORR,我们探索了不同周期数据之间的相关模式,以识别最相关的数据,然后设计有效的数据选择方案以进一步增强模型性能。公路交通流量(PEMS07和PEMS08)和地铁人群流(HZME流入和流出)数据集的实验结果表明,Corrstn在预测性能方面表现出了最先进的方法。特别是,在HZME(流出)数据集上,与ASTGNN模型相比,我们的模型在MAE,RMSE和MAPE的指标中分别提高了12.7%,14.4%和27.4%。
translated by 谷歌翻译
可扩展的编码,可以适应通道带宽变化,在当今复杂的网络环境中表现良好。然而,现有的可扩展压缩方法面临两个挑战:降低压缩性能和可扩展性不足。在本文中,我们提出了第一所学习的细粒度可扩展图像压缩模型(DeepFGS)来克服上述两个缺点。具体地,我们介绍一个特征分离骨干,将图像信息划分为基本和可伸缩的功能,然后通过信息重新排列策略通过通道重新分配特征通道。以这种方式,我们可以通过一次通过编码来生成连续可扩展的比特流。此外,我们重复使用解码器以降低DeepFGS的参数和计算复杂性。实验表明,我们的DeePFGS优于PSNR和MS-SSIM度量中的所有基于学习的可伸缩图像压缩模型和传统可伸缩图像编解码器。据我们所知,我们的DeePFGS是对学习的细粒度可扩展编码的首次探索,与基于学习的方法相比,实现了最优质的可扩展性。
translated by 谷歌翻译
尽管Yolov2方法在对象检测时非常快,但由于其骨干网络的性能较低和多尺度区域特征的缺乏,其检测准确性受到限制。因此,在本文中提出了一种基于Yolov2的Yolo(DC)Yolo(DC-SPP-YOLO)方法的密集连接(DC)和空间金字塔池(SPP)方法。具体而言,在Yolov2的骨干网络中采用了卷积层的密集连接,以增强特征提取并减轻消失的梯度问题。此外,引入了改进的空间金字塔池以池并加入多尺度区域特征,以便网络可以更全面地学习对象功能。 DC-SPP-YOLO模型是根据由MSE(均方误差)损耗和跨透镜损失组成的新损失函数建立和训练的。实验结果表明,DC-SPP-Yolo的地图(平均平均精度)高于Pascal VOC数据集和UA-Detrac数据集上的Yolov2。提出了DC-SPP-Yolo方法的有效性。
translated by 谷歌翻译
多视图表示学习对于许多多视图任务(例如聚类和分类)至关重要。但是,困扰社区的两个具有挑战性的问题:i)如何从群众未标记的数据中学习强大的多视图表示,ii)如何平衡视图一致性和视图特异性。为此,在本文中,我们提出了一种混合对比融合算法,以从未标记的数据中提取强大的视图符号表示。具体而言,我们发现在此空间中引入附加表示空间并对齐表示形式使模型能够学习强大的视图符号表示形式。同时,我们设计了一种不对称的对比策略,以确保模型无法获得微不足道的解决方案。实验结果表明,在聚类和分类方面,该方法在四个现实世界数据集上优于12种竞争性多视图方法。我们的源代码很快将在\ url {https://github.com/guanzhou-ke/mori-ran}上找到。
translated by 谷歌翻译
方面情感三胞胎提取(ASTE)旨在提取方面,意见及其情感关系作为情感三胞胎的跨度。现有的作品通常将跨度检测作为1D令牌标记问题制定,并使用令牌对的2D标记矩阵对情感识别进行建模。此外,通过利用诸如伯特(Bert)之类的审计语言编码器(PLES)的代表形式,它们可以实现更好的性能。但是,他们只是利用将功能提取器作为提取器来构建其模块,但从未深入了解特定知识所包含的内容。在本文中,我们争辩说,与其进一步设计模块以捕获ASTE的电感偏见,不如包含“足够”的“足够”功能,用于1D和2D标记:(1)令牌表示包含令牌本身的上下文含义,因此此级别,因此此级别功能带有必要的信息以进行1D标记。 (2)不同PLE层的注意力矩阵可以进一步捕获令牌对中存在的多层次语言知识,从而使2D标记受益。 (3)此外,对于简单的转换,这两个功能也可以很容易地转换为2D标记矩阵和1D标记序列。这将进一步提高标签结果。通过这样做,PLE可以是自然的标记框架并实现新的最新状态,通过广泛的实验和深入分析来验证。
translated by 谷歌翻译
评分函数(SF)测量了知识图中三重态的合理性。不同的评分功能会导致在不同知识图上的链接预测性能上造成巨大差异。在本报告中,我们描述了通过在开放图基准(OGB)上随机搜索发现的怪异评分函数。该评分函数(称为Autoweird)仅在三胞胎中使用尾部实体和关系来计算其合理性得分。实验结果表明,AutoweiD在OGBL-Wikikg2数据集上实现了TOP-1性能,但比OGBL-BIOKG数据集的其他方法的性能要差得多。通过分析这两个数据集的尾部实体分布和评估协议,我们将Autoweird在OGBL-Wikikg2上的意外成功归因于不适当的评估和集中的尾巴实体分布。这样的结果可能会激发有关如何准确评估知识图的不同链接预测方法的性能的进一步研究。
translated by 谷歌翻译
作为智能车辆控制系统的中心神经,车载网络总线对于车辆驾驶的安全至关重要。车载网络的最佳标准之一是控制器区域网络(CAN BUS)协议。但是,由于缺乏安全机制,CAN总线被设计为容易受到各种攻击的影响。为了增强车载网络的安全性并根据大量的CAN网络流量数据和提取的有价值的功能来促进该领域的研究,本研究全面比较了完全监督的机器学习与半监督的机器学习方法可以发信息异常检测。评估了传统的机器学习模型(包括单个分类器和集合模型)和基于神经网络的深度学习模型。此外,这项研究提出了一种基于自动编码器的深度自动编码器的半监督学习方法,该方法适用于CAN传达异常检测,并验证了其优于其他半监督方法的优势。广泛的实验表明,全面监督的方法通常优于半监督者,因为它们使用更多信息作为输入。通常,开发的基于XGBoost的模型以最佳准确性(98.65%),精度(0.9853)和Roc AUC(0.9585)击败了文献中报道的其他方法。
translated by 谷歌翻译
基于深度神经网络的时间序列分类方法很容易在UCR数据集上过度拟合,这是由这些数据集的几次拍摄问题引起的。因此,为了减轻进一步提高准确性的过度拟合现象,我们首先提出标记为IncepionTime(LSTIME)的标记平滑,这与软标签的信息相比,与硬标签相比。接下来,提出了通过LSTIME手动调整软标签,提出了成立时间(KDTIME)的知识蒸馏,以便通过教师模型自动生成软标签。最后,为了纠正来自教师模型的错误预测的软标签,提出了具有成立时间(KDCTIME)的校准的知识蒸馏,在其中包含两个可选的校准策略,即通过重新排序(KDCR)通过翻译(KDCT)和KDC的可选校准策略(KDC)(KDCR )。实验结果表明,KDCTIME的准确性很有前景,而其推理时间比火箭速度快两个数量级,具有可接受的训练时间开销。
translated by 谷歌翻译